
IISPI 



I INST1TUT 
NATIONAL OE 
LA PROPRIETE 
INDUSTRIELLE 



EVET D' INVENTION 



CERTIFICAT D'UTIUTE - CERTIFICAT D'ADDITIOI^ ^ ^ 



COPIE OFFICIELLE 



X* 



Le Directeur general de I'lnstitut national de la propriete 
industrielle cerfifie que le document ci-annexe est la copie. 
certifiee conforme d'une demande de titre de propriete 
industrielle deposee a I'lnstitut. 

Fait a Paris, le 20 NOV*. M8 



CERTIFIED COPY Of 
PRIORITY DOCUMENT 



Pour le Directeur general de I'lnstitut 
national de la propriete industrielle 
Le Chef du Departement des brevets 




Marline PLANCHE 



SIEGE 

I N S T I T 0 T 26 bts. r,ie de Satm Petersburg 



This Page Blank (uspto) 



I 



I INSTITUT 
NATIONAL DC 
LA FROFRIITE 
INOUSTRIILLI 



26 bis. rue de Saint Petersbourg 
75800 Paris Cedex 08 

Telephone : (1) 42.94.52.52 Telecopie : (1) 42.93.59.30 
__— — — — . Reserve a I'INP! — 



BREVET D'INVENTION, CfiSTIFICAT D'UTILITE 

Code de la propriete intellectuelle-Livre VI 

REQUETE en delivrance 

Confirmation d'un depdt par telecopie j j 

Cat imprime est a remplir a fencre noire en lettres capitales 



1 55 -1328 



DATE DE REMISE DES PIECES 
N° D'ENREGISTREMENT NATIONAL 
DEPARTEMENT DE DEPOT 
DATE DE DEPOT 



89.JUM99 6 

96 08542 

0 9 ML 1996 



2 DEMANDE Nature du titre de propriety industrielle 
X~| brevet d'invention Cj demande divisionnaire 



l> 



demande initiate 



J certificat d'utilite Ej transformation d'une demande 

de brevet europeen pj bfevet d . invention 



1 


NOM ET ADRESSE DU DEMANDEUR OU DU MANDATAIRE 




■ 


A QUI LA CORRESPONDANCE DOIT £TRE ADRESSEE 


■ 




BUREAU D. A. CASALONGA-JOSSE 






8, avenue Percier 






75008 PARIS 




■ 

n 3 du pouvoir permanent references du correspondant telephone 


■ 




B 96/0522 FR FZ 





j certificat d'utilite n 3 



date 



Etablissement du rapport de recherche differe immediat 

Le demandeur. person ne physique, requiert le paiement echelonne de la redevance [~j oui 



n 



Titre de ('invention (200 caracteres maximum) 



"Proced6 de localisation d'un element d'int£r§t contenu dans un objet tridimensionnel , 
en particulier lors d'un examen de stdr^otaxie en mammographie" . 



3 DEMANDEUR (S) n» siren 

Norn et prenoms (souligner le nom patronymique) ou denomination 



GE MEDICAL SYSTEMS S.A. 



Forme juridique 



Society Anonyme 



Nationaiite (s) Frantjaise 



Adresse (s) complete (s) 



283, rue de la Minifcre - 78533 BUC CEDEX 



Pays 



FRANCE 



En cas d'insuffisance de place, poursuivre sur papier libra { [ 



4 INVENTEUR (S) Les inverrteurs sont les demandeurs 



j | oui ij] non Si la reponse est non. foumir une designation separee 



5 REDUCTION DU TAUX DES REDEVANCES 



j | requise pour la lere fois P] requise anterieurement au depfit : joindre copie de !a decision d" ad mission 



6 DECLARATION DE PRIORfTt OU REQUITE DU BENEFICE DE LA DATE DE D£PdT D'UNE DEMANDE ANTIiRIEURE 
pays d'origine numero date de depot 



nature de la demande 



7 DIVISIONS anterieures a la presente demande 



date 



8 Signature du 

(nom et quaii. 




DEUR OU DU MANDATAIRE 

signature - n° d'in&iption) . 



Conseil en Propri£t6 Industbielle 



SIGNATURE DU PREPOSE A LA RECEPTION SIGNATURE APRES ENREGISTREMENT DE LA DEMANDE A L'INPI 



5 




■ iNsmtnr 

NATIONAL DB 
LA PKOPRIBTE 
INDUSTRIELLE 



B 96/0522 FR 



BREVET D'INVL#ION, CERTIFICAT 
D'UTILITE 

DESIGNATION DE L'llMVENTEUR 

(si le demandeur n'est pas I'inventeur ou I'unique inventeur) 



DIVISION ADMINISTRATIVE DES BREVETS 

26bis, rue de Saint-Petersbourg 
75800 Paris Cedex 08 

Tel. : (1) 42 94 52 52 - Teleccpie : (1) 42 93 59 30 



N° D'ENREGISTREMENT NATIONAL 



TITRE DE ^INVENTION : 

Proc6d6 de localisation d'un 616ment d'inter§t contenu dans un objet 
tridimensionnel, en particulier lors d'un examen de st§r6otaxie en 
mammographie. 



LE (S) SOUSSIGNE (S) 



Society Anonyme dite : GE MEDICAL SYSTEMS S.A. 



DESIGNE (NT) EN TANT QU'INVENTEUR (S) (indiquer nom, prenoms, adresse et soutigner le nom patronymique) : 

1 ) Serge Muller 

8, rue Saint Pol Roux 78280 Guyancourt 

2) Michel Grimaud 

18, rue Martin Bernard - 75013 Paris 

3) Robert Heidsieck 

14, rue des Erables - 78150 Rocquencourt 

4) Thierry Salmon Legagneur 

7, rue St Hyacinthe - 75001 Paris 

5) Sylvie Bothorel 

29, rue de l'Est - 92100 Boulogne Billancourt 



NOTA : A titre exceptionnel, le nom de I'inventeur peut etre suivi de celui de ia society a laquelle i! appartient (societe 
d'appartenance) lorsque ceileci est differente de la societ6 d6posante ou trtulaire. 



Date et signature (s) du (des) demandeur (s) ou du mandataire 
Paris, le 9Juillet 1996, 



A. CASAL0NGA 
(bm 92-10441) 
Conseil en Propri6t6 Industrielle 



BUREAU D. A. CASAL0NGA-J0SSE 
8, avenue Percier 
75008 |ARIS 




— # 




FZ/DD 



B 0522/96 



1 



Procede de localisation d'un element d'interet contenu dans un 
objet tridimensionnel, en particulier lors d v un examen de 
stereotaxic en mammographies 

L'invention conceme la localisation d'un element dinterSt contenu 
dans un objet tridimensionnel k partir des positions de regions 
d'interet homologues correspondant audit element d'int6ret et 
apparaissant dans un ensemble d'images st6reotaxiques dudit objet. 

Bien que l'invention s'applique k tout ensemble d'images 
st6reotaxiques d'un objet tridimensionnel quelconque, elle est 
particuli&rement utile dans le domaine medical et notamment lors d'un 
examen de st6r6otaxie en mammographie pour la localisation de 
microcalcifications dans un sein. 

Un examen de stereotaxic en general permet d'acceder avec une 
grande precision, de l'ordre du millimetre, k un point donne d'un objet 
tridimensionnel, k partir de deux projections bidimensionnelles de cet 
objet acquises par exemple selon deux incidences angulaires oppos6es 
de part et d'autre de la normale au plan du r6cepteur d'images delivrant 
lesdites projections. 

A partir de la connaissance, d'une part, de la position de la 
projection de ce point dans le plan de chaque image stereotaxique 
obtenue, et, d'autre part, de la g6om6trie de l'appareil de prises de 
vues ster6otaxiques ayant conduit k la construction des deux images, il 
est possible de calculer la position exacte spatiale de ce point dans 
1'objet tridimensionnel, par calcul trigonom6trique. 

En resum6, un examen stereotaxique necessite : 

de faire au moins deux images de 1'objet k diffSrentes angulations, 
de connaitre parfaitement la g£om£trie d'acquisition du systerne 
st6r6otaxique, et 

de pouvoir localiser sur les diffSrentes images st6r€otaxiques 
obtenues, le lieu de la projection de l'61ement d'intdret choisi. 

Les deux premiers points ne posent pas de probl&me majeur. 

Actuellement, en mammographie, l'examen de st6r6otaxie est 
effectuS k 1'aide d'un mammographe 6quip6 d'un dispositif de prises de 
vues st6r6otaxiques. Le mammographe comprend un tube k rayons X, 



sitae a Fexvremite d'un premier bras qui est mobile autour d'un axe et 
emettant un rayonnement X vers un r<5cepteur situe k l'extr6mite d'un 
autre bras. Entre le tube et le recepteur sont disposes, d'une part, un 
plateau porte-sein, ou support patient, et, d'autre part, un plateau de 
compression assurant le maintien en place du sein lors des 
mammographies. Le recepteur d'images peut etre un recepteur 
numerique, tel qu'une camera CCD par exemple, delivrant des images 
stereotaxiques numerisees. Les prises de vues stereotaxiques 
necessitent la rotation du tube h rayons X autour des plateaux porte- 
sein et de compression, selon deux orientations successives opposees 
de part et d'autre de sa position initiale perpendiculaire au plan du 
recepteur dimages. 

A partir des images stereotaxiques numerisees obtenues, la 
localisation de l'element d'interSt sur les differentes images est une 
operation delicate, en particulier en mammographie, puisqu'elle fait 
appel St une mise en correspondance, ou appariement ("matching" en 
langue anglaise) de regions d'interSt homologues correspondant, dans 
deux images stereotaxiques diff6rentes, & un merne element d'interSt 
situe dans le sein. 

Ainsi, en mammographie, on cherche k apparier sur les diff6rentes 
images stereotaxiques obtenues, les regions d'interSt qui correspondent 
a une meme microcalcification. 

Or, l'appariement des microcalcifications projet6es est un 
probl&me difficile car les microcalcifications ne se ressemblent pas 
d'une image h l'autre. Leur forme et leur contraste peuvent changer 
ainsi que leur ageneernent dans 1'espace. Elles peuvent se superposer 
avec des zones fibreuses ou avec d'autres microcalcifications. 

Jusqu'S. present, I'appariement etait effectue entierement 
manuellement par le radiologue. Ce dernier choisissait quelles 6taient 
les regions d'interet en correspondance sur les deux images 
stereotaxiques angulees, puis rentrait les coordonnees 
bidimensionnelles de ces regions dans un calculateur qui donnait la 
position spatiale de la roicrocalcification, c'est-^-dire les coordonnees 
tridirnensionnelles de cette dernifere. A partir de ces coordonnees, le 
radiologue pouvait ajuster par example la position d'un porte-aiguille 



de fagon a ce que l'aiguille vienne k 1'aplomb de la xnicrocalcification 
pour permettre sa ponction par exemple. 

Or, cet appariemment enticement manuel s'av&re Stre une 6tape 
longue et parfois imprecise. 

L'invention vise k apporter une solution k ce problfeme. 

L'invention a pour but de reduire sensiblement la duree d'un 
examen ster6otaxique et d'obtenir une meilleure precision 
d'appariement. 

D'une fagon trfes gen6rale, selon l'invention, on ddfinit une mesure 
de similarity permettant d'evaluer la ressemblance entre une region 
d'interet (microcalcification par exemple) s61ectionn6e (manuellement 
par le radiologue par exemple, ou bien automatiquement par un 
procede de selection automatique) sur une des images st6r6otaxiques 
angul6es et une region d'interSt d'une deuxieme image ster6otaxique. 

A partir de cette mesure de similarity, on selectionne., pour obtenir 
la region d'interSt homologue, un certain nombre de "candidats" 
appartenant k une zone de recherche et ayant une forte ressemblance 
avec la microcalcification de depart. 

Ensuite, en utilisant les principes de la stereotaxic, on calcule les 
coordonnees tridimensionnelles de ces candidats, puis on les reprojette 
sur l'image de centrage. On calcule k nouveau la similarite entre ces 
points reprojetes et la microcalcification initialement choisie. En 
effet, si le candidat correspond effectivement k la microcalcification 
de depart, alors sa projection calcul^e correspondra effectivement k 
l'image de cette microcalcification sur l'image de centrage. 

Enfin, k 1'aide de ces deux valeurs de similarity calculees pour 
chaque candidat, on propose le meilleur candidat. 

En thyorie, on pourrait s'abstenir de l'etape de reprojection 
utilisant l'image de centrage et se contenter de l'appariement tel qu'il 
vient d'etre exposy pour syiectionner la rygion d'intyrSt homologue de 
celle syiectionnye sur l'image cible. Cependant, il est nettement 
pryfyrable d'utiliser la reprojection des candidats sur Timage de 
centrage pour verifier la premiere selection effectuye, notamment dans 
le domaine de la mammographie oil les microcalcifications peuvent 
changer de forme et de contraste d'une image k l'autre. 



En d'autres termes, Finvention propose tout d'abord un precede de 
localisation d'un element d'interSt contenu dans un objet 
tridimensionnel k partir des positions de regions d'interSts homologues 
correspondant audit element d'interet et apparaissant dans un ensemble 
d'images stereotaxiques dudit objet. Ce procede comporte une etape de 
selection dans une premiere image st6reotaxique, ou image cible, d'une 
premiere region dlnterSt, en particulier une microcalcification, dite 
region d'interet cible. Le procede comporte egalement un appariement 
de ladite premiere r6gion avec une deuxi&me region d'interet 
homologue de la premiere et apparaissant dans une deuxieme image 
stereotaxique. 

Selon une caracteristique g6nerale de Tinvention, les images 
stereotaxiques etant numeris6es, on selectionne dans Tetape de 
selection un pixel cible dans ladite region d'interet cible. Dans l'etape 
d'apparierrient, on gen&re autour du pixel cible selectionne, une fenStre 
cible de caracteristiques dimensionnelles choisies et contenaat ladite 
region d'interet cible. On determine alors dans la deuxi&rne image, 
selon un crit&re de selection predetermine, un ensemble de pixels et on 
g^nere autour de chaque pixel selectionne une deuxifeme fenStre de 
memes caracteristiques dimensionnelles que ladite fenetre cible. On 
effectue un traitement de correlation entre les niveaux de gris des 
pixels de chaque deuxieme fenStre et les niveaux de gris des pixels de 
la fenetre cible de fa$on a obtenir une valeur de correlation pour 
chaque deuxieme fenStre. On identifie alors la region d'interet 
homologue de la region d s inter6t cible k partir de Fanalyse de 
Tensembie des valeurs de correlation ainsi obtenues. On minimise 
ainsi les iisques d'erreur d ! appariement entre des regions d'interet 
homologues. 

Selon un mode de mise en oeuvre, 1'analyse des valeurs de 
correlation obtenues comporte la selection d ! un nombre choisi de 
maxima ou de minima de correlation, la selection de la region 
homologue s'effectuant parxni celles dont la valeur de correlation 
associee est Tun de ces maxima ou minima de correlation. 

En fait suivant que l'image est "normale" ou inversee (une image 
"normale" etant definie comme presentant des niveaux de gris et des 



contrastes qui sont semblables k ceux habituellement visibles sur des 
cliches de film) on utilisera respectivernent les maxima ou les minima. 

On peut egalement prevoir une determination de la dynamique des 
maxima ou minima selectionn^s, et la comparaison des valeurs de 
dynamique obtenues k un seuil. 

Le traitement de correlation utilise peut comporter un traitement 
de correlation normee, centree ou non, ou bien un traitement de 
difference norm6e. 

En variante k 1'appariement evoque ci-dessus, l'invention propose 
egalement un appariement base sur Telaboration de caracteristiques 
predetermines de toute region d*int6ret, en particulier des 
caracteristiques physiques comme l'61ongation, le contraste, le 
gradient, puis une comparaison entre ces listes de caracteristiques 
associees k differentes regions d'interSts. 

Plus precisement, selon une caracteristique generate de 
Tinvention, on selectionne dans l'etape de, selection, un pixel cible 
dans ladite region dinteret cible et, dans l'etape d'appariement, on 
g^nfere, autour du pixel cible s61ectionne, une fenStre cible de 
caracteristiques dimensionnelles choisies et contenant ladite region 
d'int£r6t cible. On determine pour ladite region d'interSt cible, k partir 
des valeurs de niveau de gris des pixels de ladite fenStre cible, un 
premier ensemble de valeurs numeriques respectivernent 
representatives de caracteristiques predeterminees caracterisant toute 
region dinterSt (par exemple des caracteristiques de forme de 
contraste, de gradient ... ) et on stocke ce premier ensemble de valeurs 
numeriques. On determine dans la deuxieme image, selon un critere de 
selection predetermine, un ensemble de pixels appartenant 
respectivernent k des regions d'interSts dites candidates apparaissant 
dans la deuxifeme image et on g^nere autour de chacun de ces pixels 
selectionn6s une deuxifeme fenStre contenant ladite region d'int6ret 
candidate correspondante. On determine, pour chaque region d'int6rSt 
candidate k partir des valeurs de niveau de gris des pixels de la 
deuxi&me fenStre associ6e, un deuxi&me ensemble de valeurs 
numeriques respectivernent representatives desdites caracteristiques 
predeterminees et on stocke ce deuxifeme ensemble de valeurs 



nunneriques. On identifie alors la region d'interet homologue de la 
region d'interet cible k partir d'un traitement de comparaison entre le 
premier ensemble de valeurs numeriques et chaque deuxieme ensemble 
de valeurs numeriques. On minimise egalement ainsi les risques 
d'erreur d'appariement entre des regions homologues. 

Le traitement de comparaison peut comporter un traitement de 
minimisation de distance entre les deux ensembles de valeurs 
num6riques. 

Dans les deux variantes d'appariement qui viennent d'etre 
evoquees, et afin de minimiser encore le temps de calcul, on determine 
dans ia deuxieme image stereotaxique, une zone epipolaire contenant 
au moins le segment 6pipolaire relatif au pixel cible. Les pixels de la 
zone epipolaire contiennent alors les pixels selectionn^s. Pour reduire 
encore le temps de calcul, au lieu d'effectuer l'appariement sur tous les 
pixels de la zone epipolaire d6terminee, on selectionne 
avantageusement les pixels de la deuxieme image parmi ceux 
presentant des maxima ou des minima de niveau de gx*is dont la 
dynamique est superieure a un seuil predetermine. 

En outre, pour s'affranchir des probl&mes de fond d'image, et pour 
minimiser encore les risques d f erreurs d'appariement entre deux 
regions d'interets homologues, il est particulierement avantageux que 
Tappariement selon Tinvention comporte pr^alablement un filtrage des 
images stereotaxiques, par exemple du type dit "chapeau haut de 
forme". 

L'utilisation de Tetape de reprojection des elements d f int6rets 
candidats dans l'image de centrage est independante du type 
d'appariement utilise prealablement. 

Ainsi, selon une caract^ristique generale de 1'invention, le procede 
de localisation du type de celui evoque ci-avant comprend une 
selection dans une premiere image ster6otaxique num6risee d'une 
premiere region d'interet dite cible, une selection, dans une deuxieme 
image stereotaxique numeris6e, a partir d'un premier appariement 
automatique, d'au moins une deuxifeme r6giori d'interet susceptible 
d'etre homologue de la region cible, la determination de la position 
spatiale d'un pixel candidat d'un Element d'interet candidat 



correspondant k ces deux regions d'int6rets, la determination de la 
position dans une troisifeme image st6reotaxique, d'un pixel projete 
correspondant k la projection dans cette troisi&me image ster^otaxique 
du pixel candidat, et un deuxi&me appariement automatique entre la 
region interet cible et un voisinage du pixel projete definissant une 
region d'interSt projete. 

En pratique, on s61ectionne avantageusement dans la deuxi&me 
image stereotaxique, k partir dudit premier appariement automatique, 
un ensemble de deuxiemes regions susceptibles d'etre homologues de 
la region cible et on determine la position spatiale de chaque pixel 
candidat correspondant k chaque paire de regions d'interSts form£e par 
la region cible et Tune des deuxiemes regions. On determine 
egalement la position dans la troisieme image de chaque pixel projete 
correspondant et on effectue le deuxieme appariement automatique 
entre la region cible et un voisinage de chaque pixel projete. 

On peut ordonner l'ensemble des deuxiemes regions obtenues dans 
i'ordre decroissant de leur probability k etre la region homologue de la 
region cible. On peut egalement ordonner l'ensemble des regions 
projetees obtenues dans l'ordre decroissant de leur probability k Stre la 
region homologue de la region cible. On s61ectionne alors 
avantageusement la region homologue de la region cible comme etant 
celle dont le produit des rangs respectifs dans les deux 
ordonnancements est mininum. 

Le premier appariement automatique peut Stre Tun des deux 
appariements qui ont et6 evoques ci-avant, c'est-a-dire a base d'un 
traitement de correlation ou d'un traitement de comparaison. 

De meme, le deuxieme appariement automatique peut comporter 
un traitement de correlation tel que defini ci-avant, entre le voisinage 
de chaque pixel projete et une fenetre cible contenant la region 
d'int6r6t cible. Ce deuxi&me appariement automatique peut Stre 
egalement un traitement de comparaison tel que d6fini ci-avant, entre 
la region d'int6rSt cible et chaque region d'int6r8t projet^e. 

D'un point de vue mat6riel, l'invention s'analyse comme un 
dispositif de localisation d'un 616ment d'interSt contenu dans un objet 
tridimensional & partir des positions de r6gions d'int£rdts homologues 
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correspondant audit element d'interet et apparaissant dans un ensemble 
damages stereotaxiques dudit objet. Ce dispositif comporte un 
appareillage de prises de vues stereotaxiques equip6 d'un support pour 
ledit objet et d'un recepteur d'image tel qu'une camera CCD capable de 
fournir des images stereotaxiques numerisees. D est 6galement pr6vu 
des moyens de visualisation de ces images, par exemple un ecran 
video, tel que celui d'un microordinateur. Des moyens de selection, 
par exemple une "souris" d f un microordinateur permettant de d6placer 
un marqueur sur l'ecran et de "cliquer" ce marqueur sur un pixel cible 
d'une region d'interet, permettent la selection du pixel cible. II est 
enfin prevu un microprocesseur et des memoires associees""pour 
incorporer sous forme logicielle des moyens permettant de realiser 
fonctionnellement toutes les etapes des procedes qui ont ete decrites 
ci-avant. 

D'autres avantages et caracteristiques de l'invention apparaitront a 
1'examen de modes de mise en oeuvre nullement limitatifs, et des 
dessins annexes, sur lesquels : 

la figure 1 est une vue schematique de trois images stereotaxiques 
d'un objet tiidimensionnel a partir d'un dispositif de prises de vues 
stereotaxiques; 

la figure 2 illustre tres sch^matiquement la notion de segment 
6pipolaiie; 

la figure 3 illustre une zone 6pipolaire choisie conform^ment h 
l'invention pour effectuer un appariement; 

la figure 4 est un organigramme general d'un proced6 selon 
Tinvention; 

la figure 5 illustre plus particuliferement une 6tape d'une variante 
du procede utilisant un traitement de correlation; et 

la figure 6 illustre schematiquement plus particulierement un 
proced6 selon Tinvention utilisant une reprojection sxir 1'image de 
centrage. 

TJn examen st6r6otaxique, en particulier en mammographie, se 
compose d'une s6rie de trois expositions d'un objet tridimensionnel 1 
(figure 1), par exemple un sein, reposant sur un support 3 et comprime 
par uri plateau de compression 2, k 1'aide d'un tube k rayons X 



occupant respectivement trois positions differentes 6, 7 et 8. En 
pratique, on proc&de k une exposition selon un angle de 0° et k deux 
expositions angul6es selon deux angles opposes egaux, en pratique 
±15°. 

Un recepteur CCD 4 permet d'obtenir ainsi trois images. 
ster6otaxiques num6risees 10, 11 et 12. Selon une convention 
habituellement utilisSe, l'image 10 est l'image de droite, tandis que 
l'image. 12 est 1'image de gauche et que l'image 11 est Timage de 
centrage. 

Un element d'interSt 5, par exemple une microcalcification, 
contenu dans 1'objet tridimensionnel 1, foumit sur chacune des images 
10, 11 et 12 des r6gions d'int6rSts respectivement r6ferenc6es 5d, 5c et 
5g. L'image de centrage sert en particulier k verifier que la 
microcalcification sera accessible durant l'acte medical eventuel 
ulterieur. 

Les coordonn^es tridimensionnelles de la microcalcification 5 
peuvent Stre obtenues, de fagon classique et bien connue de 1'homme 
du metier, par un calcul simple de trigonometric k partir de la 
connaissance des coordonn6es bidimensionnelles des deux projections 
5d et 5g, par exemple. Ces coordonnees sont exprimees par rapport k 
une origine mat<Srialisee par le centre d'une croix 9 grav6e sur le 
plateau supportant le sein. Et on repfere sur chaque image le centre de 
cette croix de reference pour initialiser geometriquement le systeme. 

L'homme du metier sait que par d6finition, le segment 6pipolaire 
50 (figure 2) d T un point 5d d'une image 9 d' angulation 81, sur une 
image 12 d'angulation 92, correspond k l'ensemble des points de la 
seconde image . 12 pouvant avoir le point 5d comme antecedent. 
Autrement dit, c'est la projection conique par la source d'angulation 
62, du segment de droite 52 joignant ledit point k la source 
d'angulation 01, 

Dans le cas oil les images st6r6otaxiques ont 6t6 obtenues avec des 
angulations telles que les positions du tube k rayons X se situent dans 
an plan parallfcle aux lignes des images, ce segment 6pipolaire 50 est 
un segment de droite qui se trouve §tre parallfele aux lignes de l'image. 
Cependant, si Ton n'a pas la connaissance de l'6paisseur de l'objet 
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cridimensionnel, on ne peut pas determiner la position des extr6mites 
de ce segment epipolaire. Ce segment epipolaire devient alors une 
droite epipolaire qui, dans la geometrie d'acquisition particulifcre 
6voquee ici, se situe sur la mSme ligne d'image 12 que le point 
d'interSt 5d sur l'image 9. 

En outre, lorsqu'on utilise un d6tecteur qui presente des 
distorsions geometriques, la droite epipolaire se transforme en une 
courbe epipolaire 53 (figure 3). On peut determiner les coordonnees de 
1'ensemble des points de la courbe epipolaire sur l'image 12 par une 
calibration geometrique de la camera CCD. II serait alors possible de 
n'effectuer rappariement selon l'invention que sur 1'ensemble de ces 
points. 

Cependant, si pour des raisons de precision de la calibration 
geometrique, on ne peut determiner qu'approximativement les 
coordonnees des points de la courbe epipolaire, on choisira alors 
d'effectuer l'appariement selon l'invention sur un ruban epipolaire 51 
qui encadre la courbe epipolaire. En pratique, on definira une zone 
epipolaire, ou zone de recherche, d61imitee par deux lignes paralleles 
passant respectivement par deux points augmentes de part et d'autre du 
point le plus haut et le plus bas de 1'epipolaire 53 d'une marge 
predeterminee. Generalement, on opte pour une marge de 3 & 5 pixels. 

On va ■ maintensnt decrire plus en detail, en se referant plus 
particuli&rement aux figures 4 et 5, deux types d'appariement selon 
Tinvention. 

La premiere etape consiste en la selection (6tape 400) d'un pixel 
cible 60d au sein d'une region d'int^ret cible 5d presente par exemple 
dans Timage de droite 10, dite image cible. En pratique, cette 
selection peut s'effectuer mamiellement en cliquant un point de la 
region d'interet de Timage concern^ apparaissant sur un 6cran d'un 
microordinateur. Ceci etant, on peut prevoir egalement un proc6de de 
selection automatique de pixel. Ce pixel 60d peut Stre centr6 ou non 
dans la region cible. 

On gen&re ensuite (etape 401) une fenetre cible 6 Id contenant 
ladite region d'int6r8t cible. Cette fenetre cible peut etre generee 
e.utomatiquement apres avoir appliqu6 sur le pixel cible 60d un moyen 
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logiciel classique de croissance de region. En variante, on peut 
egalement pr6voir, selon le domaine d'application de l'invention, de 
choisir des fenetres de taille predeflnies. Dans tous les cas, on 
obtiendra generalement une fenetre cible rectangulaire ou carr6e dont 
les c6tes pr6sentent des dimensions de 1'ordre d'une dizaine a quelques 
dizaines de pixels. 

Les niveaux de gris de chacun des pixels de cette fenetre cible 
sont ensuite stockes dans une memoire associee k un rnicroprocesseur 
qui incorpore de fa§on logicielle tous les moyens fonctionnels de mise 
en oeuvre du proc6de d6crit. 

A partir de la, on va selectionner dans une 6tape 402 un ensemble 
de pixels dans une deuxieme image st&reotaxique, par exemple Timage 
de gauche. Cet ensemble de pixels s61ectionnes va constituer une zone 
de recherche 51 k Tint6rieur de laquelle on va s61ectionner une ou 
plusieurs regions d'interets candidates susceptibles d'etre homologues 
de la region d'interSt cible. 

Comnie on l'a explique ci-avant et dans le but de rdduire la dur6e 
d'appariement, cette zone de recherche 51 sera par exemple la zone 
epipolaire 51 definie ci-avant. Plus precisement, autour de chacun de 
ces pixels selectionn£s dans la zone de recherche, on gdnfere (etape 
403) une deuxifeme fendtre 61g de meme caract6ristique 
dimensionnelle que la fenetre cible. On stocke les niveaux de gris des 
pixels de chaque deuxieme fenetre et on procede (etape 404) a un 
traitement de correlation entre les niveaux de gris des pixels de chaque 
deuxifcme fenetre 61g et les niveaux de gris des pixels de la fenetre 
cible 6 Id. 

Le traitement de correlation permet done d'effectuer une mesure 
de similarity entre la fenetre cible et chacune des deuxifemes fen&tres 
de la deuxi&me image de fagon k obtenir une valeur de similarity 
(valeur de correlation entre ces deux fenetres). 

C'est k partir de Tanalyse de ces valeurs de correlation que Ton va 
proc€der k Tappariement de la region d'interet cible avec sa region 
d'interet homologue. 

En ce qui conceme le traitement de correlation (e?;ape 404), on 
peut utiliser une correlation normee. Plus precis6rnent, chaque valeur 
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de correlation d'une deuxi&me fenStre sera alors donn6e par la 
formule : 

N 

^E" I (k)J(k) _^ 

Y2f«2/« iiiJ iuii 

ou N est le nombre de pixels d'une fenetre, k l'indice courant d'un 
pixel, I(k) le niveau de gris du pixel k de la fen6tre cible et J(k) le 
niveau de gris du pixel k de la deuxieme fenetre. 

On peut 6galement utiliser une difference norm6e permettant 
d'obtenir la valeur de correlation par la formule : 

iit^Tii 2 

En th6orie, la region d'interfet homologue sera celle contenue dans 
la deuxieme fenStre qui presente la valeur de correlation maximale. 
Ceci etant, en pratique, plusieurs maxima de correlation peuvent etre 
trouves avec une intensite elevee. On selectionne alors (etape 405), 
parmi Tensemble des valeurs de correlation, un ensemble restreint de 
maxima de correlation selon un crit&re predetermine comme Tintensite 
du maximum ou comme le nombre de maxima dans la liste des valeurs 
de correlation rang6es par ordre d'intensite decroissante. 

On peut egalement utiliser comme crit^re supplementaire de 
selection une determination de la dynamique des maxima seiectionnes 
et la comparaison des valeurs de dynamique obtenues k un seuil 
predetermine. J 

La determination de la dynamique de maxima est parfaitement 
connue de Thomme du metier. Cependant, celui-ci pourra 
eventuellement se reporter k la demande de brevet frangais n° 
91 15308 pour plus de details concemant une telle determination de 
dynamique. 

II convient de noter ici que le procede selon 1'invention permet de 
determiner et d'affibher sur recran du microordinateur, par exemple 
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par un clignotement, la region d'int6r8t consid6r6e comme etant la 
region homologue de la region cible, et ce avec le minimum de risque 
d'erreur. 

Ceci etant, en pratique, le proc6de selon Tinvention pourra 
seiectionner un nombre restreint de regions d'int6rets candidates 
susceptibles d'etre homologues de la region cible. Le radiologue aura 
alors la possibility de seiectionner manuellement celle qu'il considere 
comme etant effectivement la region homologue. 

Ainsi qu'on l'a evoqu6 ci-avant, on peut utiliser dans le traitement 
d'appariement, un traitement de comparaison specifique au lieu d'un 
traitement de correlation. 

Ainsi, comme illustre plus pr6cis6ment sur la figure 4, on 
determine (etape 409) pour la region cible contenue k Tinterieur de la 
fenetre cible 6 Id, et k partir des niveaux de gris des pixels contenus 
dans cette fenStre cible, une liste de caracteristiques permettant de 
caracteriser en g6neral une region d'interfet. Ces caracteristiques 
peuvent comporter par exemple uiie valeur representative de 
reiongation de la region d'inter6t, une valeur representative de sa 
largeur moyenne, une largeur representative de son niveau de gris 
moyen, ou de son gradient moyen d'intensite. 

On effectue la meme operation (etape 410) pour les regions 
d'interets candidates contenues dans des deuxifemes fengtres 61g 
definies k partir de pixels s61ectionn6s dans la zone de recherche. A 
cet 6gard, afin de limiter le temps de traitement, les pixels 
selectionnes pour la determination des deuxifemes fenetres englobant 
les regions candidates, sont choisis parmi les pixels de la zone de 
recherche pr6sentant des maxima de niveaux de gris dont la dynamique 
est superieure k un seuil predetermine. 

A partir de ces differentes listes de caracteristiques ainsi 
obtenues, on effectue un traitement de comparaison 411 entre la liste 
de caracteristiques affectees k la region cible et chacune des listes de 
caracteristiques affectees k chacune des regions candidates. 

En pratique, bien qu'on puisse envisager un autre type de 
traitement de comparaison, on utilisera de preference un traitement de 
comparaison pr6voyant la minimisation d'une distance, par exemple la 
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distance eudidienne, entre la liste des caracteristiques de la region 
cible, consideree alors corame un vecteur, et une liste de 
caracteristiques d'une region candidate, consid6r6e egalement comme 
un vecteur. 

On pourrait egalement pre voir, h titre d'exemple, de determiner la 
valeur moyenne des valeurs absolues des differences entre les valeurs 
homologues de deux listes de caracteristiques, et de rechercher celle 
des valeurs moyennes qui est la plus faible pour en deduire la region 
d'interet homologue. 

La selection de la region homologue prevue dans Tetape 405 
s'obtient done par cette variante en rninimisant une distance entre des 
listes de caracteristiques plutot qu'en maximisant une correlation 
normee ou une difference normee. 

L'invention prevoit encore certaines ameliorations. 

Ainsi, dans la variante de rappariement pr^voyant un traitement 
dd correlation, on peut limiter la zone de recherche aux pixels de la 
zone epipolaire presentant des maximia de niveaux de gris dont la 
dynamique est superieure k un seuil predetermine. 

En outre, il est preferable, notamment pour s'affranchir des 
probiemes de fond d'image, d'effectuer un filtrage prealable des 
images stereotaxiques du type dit "chapeau haut de forme" (ou 
transformation top-hat en langue anglaise). Ce genre de filtrage est 
connu de Thomme du metier et celui-ci pourra se r^ferer pour plus de 
details & 1'article de J. SERRA Image Analysis and Mathematical 
Morphology, Vol. 2, Academic Press 1988. 

Ce genre de filtrage permet d'extraire d'une image numerique les 
zones claires et etroites et permet de s'affranchir du fond. 

Les etapes du procede selon l'invention qui vont maintenant Stre 
decrites, et prevoyant notamment une reprojection sur Timage de 
centrage, s'apparentent ainsi notamment comme etant une verification 
des resultats de rappariement precedent entre l'image cible et la 
deuxieme image, et permettent ainsi de rninimiser encore les risques 
d'erreurs d'appariement. 

Ceci etant, bien que la suite du procede qui va maintenant Stre 
decrite eri se reierant plus particulierement aux figures 4 et 6, prevoit 
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la possibility d'utiliser des traitements de corr61ation ou de 
comparaison du type de ceux qui viennent d'etre d6crits, ce proc6d6 
selon l f invention utilisant une reprojection sur I'image de centrage, est 
independant de l'appariement pr£alable utilise entre I'image cible et la 
deuxi&me image. 

On suppose maintenant (figure 6) que le proc6de selon l'invention 
a permis de selectionner sur I'image de gauche 12 deux regions 
d'interSts candidates 5g et 20g susceptibles d'etre la region homologue 
de la region cible 5d apparaissant sur I'image cible 10. 

A partir du pixel cible de la region d'inter6t cible et du pixel 
candidat ayant donn6 lieu k la selection de la region d'int^rdt 
candidate 5g y on determine (6tape 406), par un calcul trigonom6tiique 
de st6r6otaxie, et connaissant la g6om6trie du dispositif de stereotaxic, 
les coordonnees tridimensionnelles du point correspondant de 1'objet 
d'interet candidat correspondant k ces deux regions 5d et 5g. Puis, par 
un calcul trigonom6trique de stereotaxic inverse, on determine les 
coordonn6es dans I'image de centrage du pixel projete correspondant k 
la projection du pixel de l'eiement candidat dans cette image de 
centrage. 

On remarque done que, dans le cas present, puisque la region 
candidate 5g est effectivement la region homologue de la region 5d, la 
position du pixel projete dans I'image de centrage 11 correspond 
effectivement k une region d'interet projete 5p qui est effectivement la 
projection dans cette image de centrage de Telement d'interSt 5. 

Par contre, par ces memes calculs, la region d'interSt candidate 
20g va conduire k 1'obtention d'une position projet6e 20p dans I'image 
de centrage qui, dans le cas present, ne se superposera k aucune region 
d'interet physiquement pr6sente dans cette image de centrage. 

Aussi, lin traitement de correlation entre la fen&tre cible contenant 
la region cible 5d et un voisinage du pixel projete contenant la region 
d'interet projetee 5p va donner une valeur de correlation sup6rieure k 
la valeur de correlation obtenue entre la fenStre cible 5d et un 
voisinage du pixel projete 20p. II en aurait 6t6 de mSme, meme si le 
voisinage du point projete 20p avait correspondu k une micro- 
calcification projetee autre que celle correspondant effectivement k la 
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microcalcification 5. 

Ce procede perrnet done de selectionner parmi les deux candidats 
5g et 20g la region 5g qui est effectivement la region homologue de la 
region 5d. 

Bien entendu, la conclusion aurait ete la mSrne en utilisant un 
traitement de comparaison 412 au lieu d'un traitement de corr61ation 
407. 

L'utilisation d'un voisinage du pixel projet6, typiquement 
quelques pixels autour du point projete, permet de prendre en compte 
les erreurs eventuelles dues a un bouge de Tobjet entre Texposition a 
0°et les expositions h ±15°. 

D'une fa9on plus generale, on peut ordonner Tensemble des 
regions candidates obtenues dans la deuxieme image dans Tordre 
decroissant de leur probability a 6tre la region homologue de la region 
cible. Ainsi, la region ayant par exemple donne le maximum de 
correlation avec la dynamique la plus forte sera affectee du rang 1 et 
ainsi de suite par ordre decroissant. On peut effectuer ce mSme 
ordonnancement pour Tensemble des regions projetees obtenues sur 
Tirnage de centrage. On s61ectionnera alors la region homologue de la 
region cible comme etant celle dont le produit des rangs respectifs 
dans les deux ordonnancements est minimum. 
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REVENDIC ATTONS 
1. Proc6de de localisation d'un element d'interet contenu dans un 
objet tridimensionnel k partir des positions de regions dlnterSts 
homologues correspondant audit element d'interet et apparaissant dans 
un ensemble d'images st6reotaxiques dudit objet, comportant une 
5 selection dans une prernifere image st6r6otaxique (10) d'une premiere 

region d'interet (5d) dite "cible", ainsi qu'un appariement de ladite 
premiere region avec une deuxieme region dlnterSt (5g) homologue de 
la premiere et apparaissant dans une deuxieme image st6reotaxique 
(12), caracterise par le fait que, les images ster6otaxiques etant 
10 numeris^es, on s61ectionne (400) dans T6tape de selection, un pixel 

cible (60d) dans ladite region d'interSt cible (5d), et dans l'etape 
d'appariement, on genere (401), autour du pixel cible selectionne, une 
fenStre cible (6 Id) de caracteristiques dimensionnelles choisies et 
contenant ladite region d*inter6t cible, on determine (402) dans la 
15 deuxieme image, selon un critere de selection predetermine, un 

ensemble de pixels, on genere (403) autour de chaque pixel 
selectionne une deuxi&me fenStre de memes caracteristiques 
dimensionnelles que ladite fenStre cible, on effectue un traitement de 
correlation (404) entre les niveaux de gris des pixels de chaque 
20 deuxifeme fenStre et les niveaux de gris des pixels de la fenetre cible, 

de fa§on k obtenir une valeur de correlation pour chaque deuxieme 
fenStre, et on identifie la region d'interet homologue de la region 
d'interSt cible k partir de Tanalyse de Tensemble des valeurs de 
correlation ainsi obtenues, de fagon k minimiser les risques d'erreur 
25 d'appariement entre les regions d f int6r8t homologues. 

2. Proc^de selon la revendication 1, caracterise par le fait que 
l'analyse des valeurs de correlation obtenues comporte la selection 
d'un nombre choisi de maxima ou de minima de correlation, la 
selection de la region d'interSt homologue s'effectuant parmi celles 

30 dont la valeur de correlation associee est Tun de ces maxima ou 

minima de correlation. 

3. Proced6 selon la revendication 2, caracterise par le fait que 
l'analyse des valeurs de correlation obtenues comporte en outre une 
determination de la dynamique des maxima ou minima seiectionnes, et 
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la comparaison des valeurs de dynamique obtemies a un seuil. 

4. Procede selon Tune des revendications 1 & 3, caracterise par le 
fait que le traitement de correlation comporte un traitement de 
correlation norm6e. 

5. Procede selon Tune des revendications 1 a 3, caracterise par le 
fait que le traitement de correlation comporte un traitement de 
difference normee. 

6. Procede de localisation d'un element d'interet contenu dans un 
objet tridimensionnel h partir des positions de regions d'interets 
homologues correspondant audit element d'interet et apparaissant dans 
un ensemble dlmages stereotaxiques dudit objet, compoitant une 
selection dans une premiere image stereotaxique (10) d'une premiere 
region d^nteret (5d) dite "cible", ainsi qu'un appariement de ladite 
premifere region avec une deuxieme region d'int6ret (5g) homologue de 
la premiere et apparaissant dans une deuxi&me image stereotaxique 
(12), caracterise par le fait que, les images stereotaxiques etant 
numerisees, on selectionne(400) dans l'etape de selection, un pixel 
cible dans ladite region d'int6ret cible, et dans l'etape d'appariement, 
on genere (401), autour du pixel cible selecticnne, une fenStre cible 
(6 Id) de caracteristiques dimensionnelles choisies et contenant ladite 
region d'interet cible, on determine (409), pour ladite region d'interet 
cible, a partir des valeurs de niveaux de gris des pixels de ladite 
fenetre cible, un premier ensemble de valeurs numeriques 
respectivemeht representatives de caracteristiques predetermines 
caracterisant toute region d'mt6rSt, et on stocke ce premier ensemble 
de valeurs numeriques, on determine (402) dans la deuxieme image, 
selon un critere de selection predetermine, un ensemble de pixels 
appartenant respectivement a des regions d'interSt dites "candidates" 
apparaissant dans la deuxieme image, et on genere (403) autour de 
chacun de ces pixels selectionn6s une deuxi&me fenStre contenant 
ladite region d'interet candidate correspondante, on determine (410), 
pour chaque region d'interSc catididate, a partir des valeurs de niveaux 
de gris des pixels de la deuxieme fenStre associee, un deuxieme 
ensemble de valeurs numeriques respectivement representatives 
desdites caracteristiques predetermines, on stocke ce deuxieme 
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ensemble de valeurs numeriques, et on identifie la r6gion d'int6ret 
honiologue de la region d'int6rSt cible k partir d'un traitement de 
comparaison (411) entre ledit premier ensemble de valeurs numeriques 
et chaque deuxi&me ensemble de valeurs num6riques, de fa§on k 
minimiser les risques d'erreur d'appariement entre les regions d'int6ret 
homologues. 

7. Procede selon la revendication 6, caracteris6 par le fait que 
lesdites caracteristiques predetermines comprennent des 
caracteristiques de forme, de contraste, de gradient. 

8. Proc6de selon la revendication 6 ou 7, caract6ris6 par le fait 
que le traitement de comparaison comporte un traitement de 
minimisation de distance entre les deux ensembles de valeurs 
numeriques. 

9. Procede selon Tune des revendications prec6dentes, caracterise 
par le fait qu'on determine dans la deuxi&me image st6r6otaxique une 
zone epipolaire contenant au moins le segment 6pipolaire relatif au 
pixel cible, et par le fait que les pixels de la zone epipolaire 
contiennent les pixels selectionn<5s. 

10. Prpced6 selon Tune des revendications prec^dentes, 
caracteris6 par le fait que lesdits pixels selectionn6s sont choisis 
parmi les pixels de la deuxi&me image presentant des maxima ou 
minima de niveaux de gris dont la dynamique est superieure k un seuil 
predetermine. 

11. Procede selon Tune des revendications pr6c6dentes, 
caracteris6 par le fait que Tappariement comporte prealablement un 
filtrage des images st6r6otaxiques, en particulier du type dit "chapeau 
haut de forme". 

12. Procede de localisation d'un 616ment dlnt6ret contenu dans un 
objet tridimensionnel k partir des positions de regions d'interets 
homologues correspondant audit 616ment d'int6rSt et apparaissant dans 
un ensemble d'images st6r6otaxiques dudit objet, caract6ris6 par le fait 
que, les images st6r6otaxiques 6tant num6ris6es, il comprend une 
selection dans une premiere image st6r6otaxique (10) d'une premiere 
region d'int6ret (5d) dite "cible", une selection (405), dans une 
deuxi&me image st6r6otaxique (12), k partir d'uri premier appariement 
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automatique, d'au moins une deuxieme region d'int6ret (5g) suceptible 
d'Stre homologue de la region cible, la determination de la position 
spatiale d'un pixel candidat d'un element d'interet candidat 
correspondant k ces deux regions d'intergt, la determination (406) de 

5 la position dans une troisi&me image st6reotaxique, d'un pixel projete 

correspondant k la projection dans cette troisierne image st6reotaxique 
du pixel candidat, et un deuxieme appariement automatique entre la 
region d'interet cible et un voisinage du pixel projete definissant une 
region d'interet projetee, de fagon a minimiser les risques d'erreur 

10 d'appariement entre les regions d'interSt homologues. 

13. Proc6de selon la revendication 12, caracterise par le fait qu'on 
selectionne dans la deuxieme image stereotaxique, k partir dudit 
premier appariement automatique, un ensemble de deuxifemes regions 
susceptibles d'etre homologues de la region cible, on determine la 

15 position spatiale de chaque pixel candidat correspondant k chaque 

paire de regions d'interet formee par la region cible et Tune des 
deuxiemes regions, ainsi que la position dans la troisierne image de 
chaque pixel projete correspondant, et on effectue le deuxieme 
appariement automatique entre la region cible et un voisinage de 

20 chaque pixel projete. 

14. Procede selon la revendication 13, caracterise par le fait qu'on 
ordonne l'ensemble des deuxiemes regions obtenues dans 1'ordre 
decroissant de leur probability k Stre la region homologue de la region 
cible, on ordonne l'ensemble des regions projetees obtenues dans 

25 Fordre decroissant de leur probabilite k Stre la region homologue de la 

region cible, et on selectionne la region homologue de la region cible 
comme etant celle dont le produit des rangs respectifs dans les deux 
ordonnancements est minimum. 

15. Procede selon Tune des revendications 12 k 14, caracterise par 
30 le fait que le premier appariement automatique est un appariement tel 

que defini dans Tune des revendications 1 k 11. 

16. Procede selon Tune des revendications 12 k 15, caracterise par 
le fait que le deuxifeme appariement automatique comporte un 
traitement de correlation tel que defini dans Tune des revendications 1 

35 k 5 9 entre le voisinage de chaque pixel projete et une fenStre cible 
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contenant la region d'int6ret cible, ou un traitement de comparaison, 
tel que defini dans Tune des revendications 6 & 11 entre la region 
d'int6ret cible et chaque region d'interet projetee. 
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